SynGR: Unleashing the Potential of Cross-Modal Synergy for Generative Recommendation
SynGR：生成式推荐中释放跨模态协同潜力
🧭 生成式推荐 · 跨模态协同信息挖掘 ★ 深度解读
Beihang University
通过显著性掩码与协同对比学习，强制模型利用跨模态协同信息，在三个数据集上提升平均约10%，推理零额外开销。
📌 工作参考价值（4 点）
- 模态依赖诊断：可从自注意力图提取token显著性得分，量化模态贡献，用于判断模型是否偏向文本或视觉，作为在线模型健康度监控。
- 动态掩码训练策略：训练中对主导模态的高saliency token进行top-r掩码，迫使模型探索跨模态交互，可迁移至电商多模态推荐、搜索重排序，防止单模态特征过拟合，提升泛化。
- 协同对比学习三元组构造：将原始序列、掩码序列、单模态序列分别作为正锚负样本做InfoNCE损失，可复用至其他多模态融合任务（如多模态商品描述生成、跨模态召回），强化交互语义。
- 轻量即插即用：掩码诊断复用前向注意力图，对比损失计算仅O(Nd)，推理零增加，且25%左右的训练加速，适合已上线多模态生成式推荐系统的低成本升级。